Năm 1935, Lục quân Nhật Bản đưa ra cuộc đấu thầu giữa các hãng Nakajima, Mitsubishi, và Kawasaki để thiết kế một kiểu máy bay cánh đơn gắn thấp để thay thế kiểu cánh kép Kawasaki Ki-10 (Máy bay Tiêm kích Kiểu 95). Các mẫu tham dự là Nakajima Ki-27, Kawasaki Ki-28, và Mitsubishi Ki-33 (một biến thể của kiểu máy bay tiêm kích Mitsubishi A5M hoạt động trên tàu sân bay). Thiết kế của Nakajima dựa trên kiểu tiêm kích cánh đơn Ki-11 trước đây đã từng thua chiếc Ki-10 trong dự thầu Kiểu 95. Vì kiểu thiết kế tiếp nối là Nakajima Ki-12 có động cơ làm mát bằng nước và càng hạ cánh xếp được, bị các quan chức Nhật cho là quá phức tạp, Ki-27 được thiết kế bởi Koyama Yasushi để có động cơ làm mát bằng gió bố trí kiểu hình tròn và càng hạ cánh cố định. Máy bay được trang bị cánh nhãn hiệu Nakajima với mép trước thẳng và mép sau thon nhọn sẽ lại xuất hiện trên kiểu K-43, Ki-44, và Ki-84. Ki-27 bay chuyến bay đầu tiên ngày 15 tháng 10 năm 1936. Mặc dù tốc độ tối đa chậm hơn cũng như tốc độ lên cao càng kém hơn các đối thủ, Lục quân chọn thiết kế của Nakajima vì khả năng lượn vòng xuất sắc do áp lực cánh rất thấp, và chính thức chấp thuận đưa vào phục vụ từ năm 1937. Ngoài hãng Nakajima, Ki-27 cũng được chế tạo bởi Tachikawa Hikoki và Manshu, với tổng cộng 3.368 chiếc.